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УДОСКОНАЛЕННЯ МЕТОДУ КОЛАБОРАТИВНОЇ ФІЛЬТРАЦІЇ 
ШЛЯХОМ ІНТЕГРУВАННЯ СЕМАНТИЧНОГО ТА ЧАСОВОГО 
ФАКТОРІВ І МЕТОДУ КЛАСТЕРНОГО АНАЛІЗУ 


Анотація. У статті розглядається алгоритм формування рекомендацій на основі колаборативної фільтрації 
з урахуванням впливу семантичного і часового факторів та його удосконалення за допомогою методів 
кластерного аналізу з метою зменшення навантаження на рекомендаційну систему та покращення якості 
рекомендацій шляхом відсіювання незмістовного контенту і збереження контексту під час генерації 
рекомендацій. Проаналізовано вплив семантичного та часового факторів на якість роботи системи рекомендацій 
(похибка при апроксимації оцінки) та застосування методу кластерного аналізу на швидкодію системи при 
великому наборі даних. Запропоновано методику прискорення обробки отриманих даних про користувачів, яка 
полягає у спробі врахувати факт зміни інтересів користувачів з часом і можливість розбити контент статистичних 
даних за сукупністю конкретних ознак. Сформульовано процедуру попередньої обробки даних (агрегація даних) 
для методу колаборативної фільтрації на основі порівнянь об'єктів з використанням методу кластеризації, що 
дозволило зменшити складність обчислень і, відповідно, час формування рекомендацій. Наведено алгоритм 
підрахунку оцінки об'єкта з урахуванням часового та семантичного факторів. Розроблено програмне 
забезпечення, перевірено адекватність роботи запропонованого методу, використовуючи набори даних з різних 
доменних областей. У результаті перевірки було виявлено, що модифікований алгоритм має кращі показники 
ефективності роботи у порівнянні з наївним методом. 


Ключові слова: рекомендаційні системи, колаборативна фільтрація, кластерний аналіз, метод 
семантичної подібності, часовий фактор. 
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ІМРКОУІХС ТНЕ МЕТНОЕР ОК СОГІ. АВОКАТТУЕ КІ. ТЕКІХС ВУ 
ІХТЕСКАТІХС 5ЕМАКТІС АХОР ТЕМРОВАЇІ, КАСТОВ5 АХОр ТНЕ 
МЕТНОКОР ОК СТ.ОЗТЕК АХАГ.У5І5 


АБбігасі. Те агіїсіе ехатіпе5 Ше аїсогіфт Гог бепегайпе гесогатепдайопз Базед оп соПабогайує ППегіпе, 
сакіпє іпіо ассойпі Фе іпйцепсе ої зетапіїс апа йте Гасіог8 апа 15 ітргоуетепі ціп сіпзіег апаЇу5і5 птеШодз їп огдаег 
го тедисе Ше Ісад оп Ше гесопитепдайоп 5узіег апа іпргоує (Бе диайту ої гесогатепдайоп5 Бу Біегіпо оці 
теапіп5їе55 сопіепі апа рге5егуїпо, Ше сопіехі Фигіпє Ше бепегацйоп ої гесотттепдайопя. Тре ітрасі ої зеттапіїс апа 
йте Гасіог5 оп Ше диайсу ої Фе гесоплтепдацоп зузіет (еггог іп е5тайоп арргохітайоп) апа Фе арріїсацоп ої Фе 
сТавтег апаЇузі5 теШоа оп Ше 5рееа ої Ше 5у5іет ул а Іагее 5ег ої ага аге апаїу7геад. А гесппідце Їог ассеїегайпея Ше 
ргосе88іпе ої гесеїуса Чаїа абоці ц5ег8 15 ргорозей, мбісП соп518і5 їп ап айегпрі іо каКе іпіо ассоцпі Ше ТГасі Шаг цвегз! 
іпіегезі5 спапєе оуег йте апа Фе роз8ібійсу ої Бгеакіпє дом Ше сопгепі ої 5їгай5иса! Чага Бу а 8еї ої зресійс Геакитез. 
А ага ргергосеззіпє ргоседите (Чага аєдгербайоп) має Гогтиїатед їог Фе птефодй ої соПарогайує БіПегіпе, Ба5ед оп 
сотрагі5опя ої обіесів ци5іпє Ше сіцягегіпо теоай, мПрісп пладе іс ро551б1е 10 гедисе Ше сотріехту ої саїсиіайопя апа, 
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ассогаїпоїу, Ше йте ог ре Гогтайоп ої гесопатепдацопя. Ап аїдогійт Тог саїсиіайпє Ше обіесі8 аєзевзвтепі 15 
ргезепіей, (акіпє іпіо ассоипі іетрога! апа 5епапіїс Гасіог8. ТРре 50ЇЙ/маге ууаз деуеіоредй, ре адедпасу ої Фе ргорозеї 
тешШодй уа5 уегійед изіпє дага 5еї5 гот дїНегепі дотаїп агеа5. Аз а ге8ції ої Бе уегійсайоп, її м аз Роппа Фаї Ше 
тодійеай аїсогійт Ба8 Бейег регіогтапсе іпаїсаого сотрагедй іо Ше паїуе теШоа. 


Кеуууогадз: гесопитепдег 5узіетя, соПабогайує Негіпє пекпой, сіа5іег апаіузі8, зетапіс 5іпіагіїу пейодй, 


те Гасіог. 


Вступ 

У інформаційному суспільстві, де 
кількість доступної інформації зростає з 
неймовірною швидкістю, проблема 
"перевантаження інформацією" стає все 
більш актуальною. Люди щодня 
стикаються з неперервним потоком новин, 
соціальних медіа-повідомлень, електрон- 
них листів, реклами, а також з величезною 
кількістю контенту на  стрімінгових 
платформах 1 в електронних магазинах. Це 
створює інформаційний шум, який може 
паралізувати | здатність | людини до 
прийняття рішень. В такому середовищі 
системи рекомендацій відіграють ключову 
роль, допомагаючи фільтрувати непотрібну 
інформацію та визначати те, що найбільш 
релевантно для конкретного користувача. 

Існує багато підходів для створення 
рекомендаційних систем, серед яких 
потрібно відзначити, наприклад, ті, що 
базуються на використанні нейронних 
мереж або статистичних математичних 
моделей. Прикладом таких підходів є 
методика залучення алгоритму 
колаборативної фільтрації | на | основі 
інформації про користувача (и5ег-Базеа) та 
на основі порівнянь об'єктів рекомендацій 
(Кет-Базед). | Проте, з урахуванням 
зростання кількості контенту та 
користувачів обчислювальні потужності 
серверів можуть бути недостатніми для 
ефективної | роботи вищезазначеного 
методу. В даному дослідженні 
пропонується враховувати той факт, що 
інтереси користувачів можуть змінюватись 
з часом, та те, що контент можна 
заздалегідь розбити на підмножини за 
певними ознаками (класифікувати або 
кластеризувати), що дозволить 
рекомендаційній системі швидше 
обробляти дані. В рамках проведеного 
дослідження зроблено спробу удосконали- 
ти метод колаборативної фільтрації на 
основі порівняння об'єктів із використан- 
ням часового фактора і семантичної 
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подібності | та | завдяки застосуванню 
методики кластерного аналізу. 


Актуальність 

Актуальність тематики дослідження 
підтверджується підвищеною увагою з 
боку сучасних науковців (див., наприклад, 
1-41). Серед найбільш відомих публікацій 
необхідно виділити статтю С. Бірковського, 
І. Сантадора та Д. Тікка (1, яка присвячена 
грунтовному дослідженню методики та 
алгоритмів формування рекомендацій 
контенту. В роботі розглянуто можливі 
виклики, з якими можна зіткнутися під час 
розробки рекомендаційних систем, |і 
запропоновано практичне застосування 
методів оптимізації. В роботі А. Хінебурга 
та А.Д. Кейма |2| наведено новий алгоритм 
на основі оцінки щільності ядра для 
кластеризації у великих мультимедійних 
базах даних, в якому кластери можна 
ідентифікувати шляхом визначення 
атракторів щільності, а кластери довільної 
форми можна легко описати простим 
рівнянням загальної функції щільності. 
Ж. Сандер у своїй роботі |3| узагальнив 
відомий алгоритм ОВУ5САМ (отримав назву 
СОВУСАМ), який дозволяє кластеризувати 
точкові об'єкти, а також просторово 
розширені об'єкти відповідно до їхніх 
просторових і непросторових атрибутів. 
Крім того, ним було представлено чотири 
програми, що використовують 2Ю0-точки 
(астрономія), 30-точки (біологія), 51)-точки 
(науки | про Землю) 1  2Р-полігони 
(географія), які демонструють можливість 
застосування СРВ5ЗСАМ до вирішення 
реальних проблем. 


Постановка задачі 

Розглянемо процедуру прийняття 
(вибору) деякого рішення з урахуванням 
наявної сукупності рекомендацій. Припус- 
тимо, що об'єктами рекомендацій будуть 
деякі сутності, характеристики яких можна 
розділити на три групи: 
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1. Оцінки. Під оцінкою розуміється 
вектор відповідності між користувачами та 
об'єктом, кожна з яких визначається у 
вигляді | деякого числового значення. 
Передбачається, що відповідне значення є 
обмеженим знизу та згори, наприклад, від І 
до 5, від 0 до І тощо. 

2. Текстова інформація. 


вважається 


Текстовою 
інформацією деякий 
скінченний список характеристик кожного 


об'єкта. До елементів текстової інформації 


відносяться, наприклад, описи, назви, 
резюме тощо. 
3. Часова інформація. Під часовою 


інформацією розуміють дані про час та 


тривалість виконання певної дії 
користувача | над | деяким об'єктом. 
Наприклад, часову інформацію можна 


отримати при перегляді та оцінюванні 


об'єкта, рецензуванні об'єкта, наданні 


відгуку щодо об'єкта, замовленні об'єкта 
тощо. 

Тоді задача полягає у тому, щоб 
розробити алгоритм, за допомогою якого 
можна без до обмежень на проблемну 
(доменну) область отримувати 
апроксимації оцінок користувачів з 
використанням згаданих вище 
характеристик 1 який дозволяв робити це 
швидше, ніж наївний метод колаборативної 
фільтрації. 


Результати 

Колаборативна фільтрація - це метод 
рекомендації контенту, що базується на 
реакціях користувачів на контент. Вперше 
метод  колаборативної фільтрації був 
запропонований Голдбергом у 1992 році у 
вигляді системи фільтрації електронної 
пошти |4|. З того часу він став предметом 
розвідок науковців |, 5-8| та ін. 

Головною метою методу є розрахунок 
оцінки контенту, з яким користувач ще не 
знайомий, використовуючи інформацію 
про його попередні реакції. Чим ближче 
оцінка наближається до реальної за умови 
зменшення похибки, тим більш якісним 
буде кінцевий рекомендаційний висновок. 
Для отримання найбільш об'єктивної 
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оцінки рекомендаційної системи необхідно 
мати якомога більше оцінок користувачів і 
способи їх аналізу. | Таким чином, 
застосування методики  колаборативної 
фільтрації дозволяє зробити більш точні 
рекомендації користувачам на основі їх 
власних реакцій на контент. 

З наведеного випливає, що основними 
поняттями, які застосовуються у методиці є 
користувач, контент, оцінка та 
рекомендація. 

Користувачем є особа, яка має бути 
зареєстрованою на деякому сервісі та має 
можливості перегляду, оцінки, покупки 
контенту на ньому тощо. 

Контент (об'єкт) представляє собою 
вміст сайту, з яким користувач взаємодіє в 
рамках сервісу та який може бути оцінений 
користувачами | на основі сукупності 
метаданих: опису, назви, вартості, тегів 
тощо. 

Оцінка | визначається | числовим 
значенням з множини натуральних чисел, 
яке є обмеженим нулем знизу та деяким 
додатнім цілим числом згори. 

Під рекомендацією розуміємо 
множину, що може складатися з групи 
змістовних пропозицій (описів), яка буде 
створена рекомендаційною системою для 
користувача. 

Оцінки користувачів для об'єктів на 
зареєстрованому сервісі зручно представ- 
ляти у вигляді матриці КК), и-і1п, 


иї 


і-Ііт, де п--кількість користувачів 
сервісу та т - кількість об'єктів. 


Розглянемо довільного користувача 


сервісу, який визначається | деяким 
порядковим номером и, ис-і,п. Зміст 
нашої задачі полягає у ї тому, щоб 


апроксимувати можливу оцінку користу- 
вача и щодо об'єкту і, і-І,т. 

Процедуру 
описати так: 

1. Для кожного об'єкта ї розраховуємо, 
наскільки він схожий з об'єктом і. 

2. Формуємо множину об'єктів, які Є 
найбільш схожими до об'єкта і. 

3. Розраховуємо оцінку об'єкта і на 
основі оцінок з множини найбільш схожих 
об'єктів. 

Тепер 


апроксимації | можна 


опишемо більш детально 
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кожний з наведених кроків 0 даної 
процедури. Оскільки кожному об'єкту 
відповідає стовпчик матриці, то будемо 
розраховувати міру схожості за стовпцями, 
використовуючи, наприклад, скориговану 
схожість косинусів. Формула для оцінки 
схожості зіт(ї, ї ) об'єктів і та ї може бути 
записана так: 


УВО, ВУ) 


е | (1 
2 


зіт(і і) - 


іп 


2 п 
УВУ СВ, ВО 


у шеї ХМ иаї 


де | К,- середнє значення оцінок 


користувача и. 

Отримана 
властивості: 

- зіт(і, І) є 0,1); - зіт(і,1)-0, 
якщо користувач не поставив оцінки, або 
дорівнює 1, якщо об'єкти співпали. 

Далі о обираємо задану кількість 
об'єктів 520, які найбільш схожі з 
обраним об'єктом і. Для цього потрібно 
відсортувати | отримані величини За 
спаданням та обрати 5 перших об'єктів. 
Сортування гарантуватиме те, що перші 5 


величина має такі 


об'єктів матимуть найбільші величини 
схожості, які є близькими до І. 
Перенумеровуючи ці об'єкти, 


обчислимо, яку можливу оцінку поставив 
би користувач и об'єкту і. Для цього 
використаємо формулу: 

5 


В зіт(і, 1) 
1 


Риї не 5 
У зіт(і, ії) 
ізі 


Зміст даної оцінки полягає у тому, що 
чим більша міра схожості об'єктів і та Ї, 
тим більший вклад об'єкт івносить до 
остаточної оцінки. 

У дослідженні пропонується 
методика прискорення обробки отриманих 
про користувачів даних, яка полягає у 
спробі врахувати факт зміни інтересів 
користувачів з часом, і можливість розбити 
контент статистичних даних за певними 
ознаками. 

Запропоновано підхід на основі 
методу кластерного аналізу та методу 


(2) 
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колаборативної фільтрації із забезпеченням 


порівняння об'єктів | з | урахуванням 
часового | фактора | та | семантичної 
подібності. 

Для того, щоб врахувати часовий 
фактор, використовується функція 
Єстаріння" інформації у вигляді /(г)-е, 
0«гсос,  7(г)єГО,1). Ця функція 


монотонно спадає, зі збільшенням значення 
і на виході отримуємо менші значення. 
Алгоритм використання функції старіння 
має вигляд: 

1. Розраховуємо для кожного об'єкта 
значення функції "старіння" для показника 
часової інформації. 

2. Відсортовуємо отримані значення за 
спаданням. Це гарантуватиме, що об'єкти, 
які були переглянуті нещодавно, матимуть 
більший вплив на рекомендацію. 

3. Обираємо перші у» об'єктів, які 
наразі знаходяться у тренді користувача та, 
відповідно, мають більший вплив на те, що 
він хоче бачити. 

Для врахування семантичного 
фактора введемо такі поняття: М - множина 
текстової інформації, що відображає суть 
деякого об'єкта і. Кожен елемент множини 
є вектор (аа, ак), Де а,- це деяке 


текстове представлення  )-о атрибута 
поточного об'єкта ) - І,К . Це, як вже було 


сказано раніше, можуть бути описи, 
рецензії, набір технічних характеристик, 
відгуки та інше. 

Тоді міру близькості двох об'єктів і та 
ї можна представити такою формулою: 


4 
У зіт(і уз; ) 
1 


зт (і, і) о . 


х 0) 


де зіт(ї,,і,) - коефіцієнт подібності )-Ї 


характеристики об'єктів і та ї (їз 
застосуванням, | наприклад, сіамських 
нейронних мереж у якості оцінювачів. 
Визначимо квадратну симетричну 
матрицю 5 -(5,,); і, зіт, 5, 2-5 узі є), 
де т - кількість об'єктів на сервісі, З 
оцінки схожості і-го та /-го об'єктів. Це 
дозволяє зберігати результати оцінювання 


у базі даних, розраховувати оцінки в 
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офлайн режимі з урахуванням того, що 
кількість об'єктів зростає доволі повільно. 
Крім цього, такий підхід позитивно 
відбивається на швидкості оновлення 
даних. 

З іншого боку, можна сформулювати 
процедуру попередньої обробки даних 
(агрегації даних) для застосування методу 
колаборативної фільтрації з на | основі 
порівнянь об'єктів з використанням методу 
кластеризації, яка полягає в таких кроках: 

І. Будується матриця подібності 
об'єктів з використанням наявних даних у 
вибірці. 

2. Проводиться | розбиття | множини 
об'єктів на відповідні кластери на основі 
алгоритмів кластеризації. 


3. Дані | про відповідні кластери 
зберігаються для майбутнього 
використання. 


Агрегація даних перед початком 
роботи алгоритму може зменшити час 
формування рекомендацій та складність 
необхідних для цього обчислень. За умов 
використання необроблених даних 
алгоритм формування рекомендацій має 
виконувати додаткову роботу з обробки та 
групуванням даних під час виконання. Це, 
як правило, займає багато часу та потребує 


відповідних витрат обчислювальних 
ресурсів. 
На основі наведених способів 


оцінювання подібності можна вивести 
остаточний алгоритм підрахунку оцінки 
об'єкта. 
Покладемо 
С 0,2) з азіт, ша (151), 


(9 


де іт, ук (і1)ЄГОЇ)  - міра схожості 
об'єктів за оцінками користувачів, а 
а є |0,1| - ваговий коефіцієнт, який 
відповідає за величину впливу оцінки 
зт ан. (1,1) в остаточній оцінці. 


так 
Аналогічно визначимо 

У(І, 2) з фзіт ша(151); (5) 
де 5іт, са (151) Є ГО, - міра схожості об'єктів 
на основі порівняння їх метаданих, а 
В є|0,1- ваговий коефіцієнт, який 
відповідає за величину впливу оцінки 
5 пса (і,Ї) в остаточній оцінці. 


Тоді можна записати остаточну 
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оцінку схожості (близькості) об'єктів і та 


і, | використовуючи наведені | вище 
величини: 
Зі увна (із 2) 2 (СС) У (і,2))/2. (6) 


Очевидно, що запропонована оцінка 
подібності повністю співпадає з властиво- 
стями оцінки | методу  колаборативної 
фільтрації на основі порівнянь об'єктів. 

Тепер побудуємо остаточну формулу 
розрахунку оцінки користувача и для 
об'єкта і з урахуванням старіння та 
семантичного фактора: 


3 Кіт на (ї, СО) 


руто, і (7) 
У зітідіна (із) (;) 
Р 
Для розробки програмного 
забезпечення було використано мову 


програмування Руфоп та безкоштовне 
середовище для написання коду У5 Софе. 
Проведено перевірку адекватності 
роботи запропонованого методу, 
використовуючи набори даних з різних 
проблемних областей, отримано показники 
швидкості обчислень рекомендацій. 


На | діаграмі | (рис.І) наведено 
показники середньої швидкості обчислень 
відповідних апроксимацій (колонка 


синього кольору вказує на час, який був 
необхідний для виконання модифікованого 
алгоритму (300 мс), а помаранчева колонка 


- она час, який був необхідний для 
виконання наївного модифікованого 
алгоритму (500 мс)). 


ши Модійед 
500 | ЧИ Мапіїа 


4004 


2004 


100 1 


Меїпой 


Рис. 1. Порівняння швидкості роботи наївного та 
модифікованого методів 
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Ці | дані  підтверджу-ють, що 
модифікований алгоритм демонструє більш 
швидкий режим роботи у порівнянні з 
наївний методом. 

У якості прикладу практичного 
застосування запропонованого методу 
розглянемо сервіс з оцінювання фільмів та 
проаналізуємо можливі при цьому похибки 
в результатах формування рекомендацій. 
Отримаємо | результати | статистичного 
спостереження процедури оцінювання 
користувачами випадково обраного об'єкта 
рекомендацій. Позначимо через у - 
величину похибки (середньоквадратичне 
відхилення), х - номер обраного об'єкта. 
Отримані результати наведено на рис.2 та 3. 
Колонки синього кольору показують 
величини похибки між оцінками на основі 
модифікованого методу, а помаранчеві 
колонки показують величину похибки для 


То уаіцез їог еасії обіесі 


3.0) и модібед 
ши Уапіїа 
2.53 


203 


15 
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ся 
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Рис. 2. Порівняння величин похибок між наївним та 
модифікованим методами 
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Рис. 3. Порівняння величин похибок між наївним та 
модифікованим методами 
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наївного методу. На діаграмах видно, що у 
більшості випадків похибка модифікова- 
ного методу є меншою, ніж похибка 
наївного методу. 

В іншому прикладі (формування 
рекомендацій у сфері музичних стрічок) за 
аналогічними отриманими даними 
результатів статистичного спостереження 
розраховано результати порівняння 
похибок для розробленого та наївного 
методів (рис.4,5). Колонка синього кольору 
показує величину похибки між оцінками 
для модифікованого методу, а помаранчева 
колонка - величину похибки оцінками для 
наївного методу. Як і раніше, маємо, що у 
більшості випадків похибка модифікова- 
ного методу є меншою порівняно з 
похибкою наївного методу. 

Отримані в проведеному дослідженні 
результати дають підстави стверджувати 
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Рис. 4. Порівняння величин похибок між наївним та 
модифікованим методами 
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Рис. 5. Порівняння величин похибок між наївним та 
модифікованим методами 
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про доцільність використання запропоно- 
ваної методики, завдяки якій можна 
покращити швидкість роботи та якість 
висновків рекомендаційних систем у різних 
проблемних областях. 


Висновки 

Запропоновано підхід для удоскона- 
лення методу колаборативної фільтрації з 
використанням часового та семантичних 
факторів шляхом впровадження спеціаль- 
них показників, які характеризують вхідні 
дані для їх попередньої обробки. Це дало 
змогу використовувати запропоновану 
модифікацію | у різних проблемних 
(доменних) областях на основі 
розробленого програмного забезпечення. 
Перевірено адекватність роботи 
запропонованого методу, використовуючи 
набори даних з різних доменних областей. 

У результаті проведених обчислень 
було встановлено більш високу 
ефективність роботи розробленого 
алгоритму формування рекомендацій у 
порівнянні з наївним методом. 

Результати | дослідження | можуть 
знайти своє застосування у сфері реалізації 
різних інтернет-сервісів, серед яких можна 
виділити сервіси інтернет-речей, стрімінго- 
вий сервіс, обслуговування  інтернет- 
магазинів тощо. 
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Тре агіїсіе Паз8 Бееп 5епі іо Ше едїйогя 16.01.24. 
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Соругієїі ипдег Псеп5е ССВУ-5А4. 


